La documentazione storica attesta che circa l'anno 1280, i padri francescani acquistarono dai monaci benedettini un oratorio dedicato a san Bartolomeo con una casetta e una modesta porzione di terreno su cui fabbricarono il presente convento e una spaziosa chiesa di cui non se ne conosce la struttura poiché distrutta nel 1776 ad eccezione della facciata, rimasta originale fino al rosone e nella sua altezza complessiva. Internamente la chiesa è stata completamente rinnovata secondo il gusto del tempo e resa molto luminosa. Il campanile fu costruito (o forse ricostruito) nel 1600 come leggibile dall'incisione su un mattone. Del primitivo convento rimane un solo muro ove restano visibili finestre piccolissime in corrispondenza delle celle dei frati. Nel secolo XV, a causa dell'aumento della comunità religiosa francescana, vennero distrutti 3 lati della fabbrica per aumentarne l'ampiezza e la lunghezza del complesso e si creò all'interno del cortile un nuovo portico dove venne mantenuto l'antico oratorio di S. Bartolomeo. Va ricordato che nel 1426, S. Bernardino da Siena soggiornò a Castel della Pieve e all'interno proprio di questo oratorio istituì la Confraternita della Misericordia che vi rimase fino al 1567. Successivamente divenne il refettorio dei francescani. Al suo interno si trova un importante affresco del secolo XIV, "La Crocifissione", popolarmente noto come il "Pianto degli Angeli", la cui attribuzione al pittore senese Jacopo di Mino del Pellicciaio è oggi accettata dalla critica senza riserve[8]. Con il tempo l'azzurro oltremare del fondo è sparito lasciando visibile il colore scuro della preparazione sottostante. Anteriormente, alcuni caratteri della scuola senese, in particolare di quella del Barna, fecero credere che l'autore dell'affresco fosse Nicola di Bonifazio Senese, il quale verso la fine del Trecento, si trasferì a Castel della Pieve. Per sei secoli i religiosi conventuali abitarono questa struttura e nel 1860 l'abbandonarono. La chiesa oggi è intitolata alla Madonna di Fatima e nei locali del vecchio convento insiste l'oratorio.